Ban đã lập gia đình và có một con trai và hai con gái.[3] Ông tự nhận mình là tín hữu Cơ Đốc Liên phái (thuộc viên của các giáo đoàn không liên kết với một giáo hội nào - non-denominational Christian). Ông là thành viên của Phong trào "Phi Giáo phái" (Mukyōkai),[4] được thành lập bởi Uchimura Kanzo, lan tỏa đến Hàn Quốc trong những năm 1920. Các thành viên của phong trào, chủ yếu là thành phần trí thức, xem Kinh Thánh là nguồn cảm hứng cho đời sống cá nhân và cộng đồng của họ.[5]

Là một học sinh trung học trong những năm đầu của thập kỉ 1960, Ban gặp Tổng thống Hoa Kỳ John F. Kennedy ở Washington D.C. sau khi thắng một cuộc thi tiếng Anh tổ chức bởi Hội Chữ thập đỏ Mỹ, sau đó ông quyết tâm trở thành một nhà ngoại giao. Thêm vào tiếng Hàn là tiếng mẹ đẻ, Ban thông thạo tiếng Anh và tiếng Pháp.

Cuối tháng 10/2015 các báo mạng tại Việt Nam đưa tin, ngày 23 tháng 5 năm 2015, trong một hoạt động cá nhân ông Ban Ki-moon cùng phu nhân đã đến dâng hương tại nhà thờ dòng họ Phan Huy ở xã Sài Sơn, huyện Quốc Oai, Hà Nội, Việt Nam[6]. Trong lưu bút ông nói rằng ông “là một người con của dòng họ Phan" và ghi tên ông bằng chữ Hán là 潘基文 (âm Hán Việt: Phan Cơ Văn)[6], song không nói rõ là thành viên họ Phan Hàn Quốc, hay họ Phan Việt Nam (thậm chí dòng họ Phan Huy)[7]. Sự kiện và ý tứ trong lưu bút dẫn đến suy diễn cho rằng, ông là hậu duệ của nhà bác học Phan Huy Chú[8]. Giáo sư Phan Huy Lê nói 'Tuy tôi không có mặt ở đó, không trực tiếp đón tiếp ông ấy nhưng tôi biết rất rõ về việc này. Tôi khẳng định những bức ảnh ông Ban Ki-moon thăm nhà thờ họ Phan Huy ở Sài Sơn (Quốc Oai, Hà Nội), thắp hương, gặp con cháu họ Phan Huy, bút tích lưu niệm là thật, tuyệt đối không có gì phải hoài nghi hay cần xác minh.Trong bút tích lưu niệm, ông Ban Ki-moon viết rõ ông là thành viên của họ Phan. Ông kính cẩn thắp hương trước bàn thờ Phan Huy Chú và tổ tiên họ Phan Huy. Trong trao đổi ông nói là hậu duệ của họ Phan Huy và cụ thể hơn là hậu duệ của Phan Huy Chú.' "[9]. Tuy nhiên những người liên quan đều thận trọng về "tính chất cá nhân" của sự kiện, và dòng họ Phan Huy hiện không tìm thấy tư liệu trong gia phả về các nhánh di cư. Họ Phan là một họ của người Á Đông, có ở Hàn Quốc, Triều Tiên, Trung Quốc, Việt Nam, và "Hội đồng họ Phan Quốc tế" đã từng tổ chức họp mặt giao lưu ở Trung Quốc[7].

Theo nhà ngoại giao Hàn Quốc từng nhiều năm làm việc với ông Ban Ki Moon cho hay: "Dòng lưu bút đó không có nghĩa ông Ban là con cháu họ Phan ở Việt Nam".

Là một nhà ngoại giao kỳ cựu, ông Ban Ki Moon đã rất tinh tế khi sử dụng chữ Hán (mà không phải chữ Hàn hoặc chữ Việt Nam). Bởi họ Phan (Việt Nam) và họ Ban (Hàn Quốc) có cùng cách viết trong tiếng Hán. Điều này hàm ý "họ Phan/Ban" trên toàn thế giới, vào một thời điểm xa xưa có cùng gốc tích. Chuyến thăm của ông Tổng thư ký LHQ là một động thái mang ý nghĩa ngoại giao khéo léo, bày tỏ sự tương đồng của người họ Phan/Ban hai nước.[10]